Chapter 1 Introduce to Vectors

我感觉第一章的主要内容是对向量(Vectors)的讲解以及对矩阵(Matrices)的综述

前面是讲解了向量以及向量的线性组合(Linear Combinations)，向量的长度以及点积运算(Dot Products), 这些内容其实都是我们高中学过的一些前置知识了算是，不过这里有几个点还是值得说一下的

向量不仅仅是我们以前学过的二维，三维，还包含着更高维的向量，更高维的只不过我们没法用图像表示出来，因为我们是三维生物？突然想起来一本书叫《平面国》
向量其实算是一个Arrow，但是 a vector with two components corresponds to a point in the xy plane. (一个具有两个分量的向量对应于xy平面上的一个点)
向量我们存在向量加法，而且我可以通过数乘给向量做伸缩变换，而对向量伸缩变化再相加中 eg $\vec{v} = a \hat{x} + b \hat{y} + c \hat{z}$ 这种若干向量按比例相加就叫线性组合 -> 所以对于任意的a,b,c 的一个取值，就是xyz空间的一个点，如果a,b,c合法的话（会有特殊情况），那对于任意的abc取值的所有组合，我们就能构成整个xyz plan.
点积运算或者点乘运算事实上就是一个数，但这个数和向量的length还有向量间的angle有关系

在1.3节，主要介绍的是矩阵，不过这里还没有给出矩阵的严格定义，但是在1.3中其实设计到了矩阵乘法的一些理解方法，一开始我没看懂，希望后面能有时间再看一遍

这里可以先把矩阵理解为是列向量的简单的一个排列

矩阵乘法的理解1: 列向量

其实是对线性组合的一种简化

u = [\begin{matrix} 1 \\ - 1 \\ 0 \end{matrix}], v = [\begin{matrix} 0 \\ 1 \\ - 1 \end{matrix}], w = [\begin{matrix} 0 \\ 0 \\ 1 \end{matrix}]

\begin{matrix} (1) & x_{1} [\begin{matrix} 1 \\ - 1 \\ 0 \end{matrix}] + x_{2} [\begin{matrix} 0 \\ 1 \\ - 1 \end{matrix}] + x_{3} [\begin{matrix} 0 \\ 0 \\ 1 \end{matrix}] = [\begin{matrix} x_{1} \\ x_{2} - x_{1} \\ x_{3} - x_{2} \end{matrix}] \end{matrix}

\begin{matrix} (2) & [\begin{matrix} 1 & 0 & 0 \\ - 1 & 1 & 0 \\ 0 & - 1 & 1 \end{matrix}] [\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \end{matrix}] = [\begin{matrix} x_{1} \\ x_{2} - x_{1} \\ x_{3} - x_{2} \end{matrix}] = [\begin{matrix} b_{1} \\ b_{2} \\ b_{3} \end{matrix}] \end{matrix}

eg. 假设x为1,4,9，那么b就是(1,3,5)

矩阵乘法的理解2: 函数

对于2式子中的形式，事实上是一种 $A X = b$ 的形式，有种像是A作用于x的一种函数

而对于上面例子中的这种函数关系，其实就像是算了行之间差的这种效果，这种 $x_{i + 1} - x_{i}$ 的效果叫做差分，而A这个矩阵事实上是一个差分矩阵difference matrix

矩阵乘法的理解3: 行向量

把矩阵看做行向量的形式，一次算一行，通过点乘的形式

\begin{matrix} (3) & A x = [\begin{matrix} 1 & 0 & 0 \\ - 1 & 1 & 0 \\ 0 & - 1 & 1 \end{matrix}] [\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \end{matrix}] = [\begin{matrix} (1, 0, 0) \cdot (x_{1}, x_{2}, x_{3}) \\ (- 1, 1, 0) \cdot (x_{1}, x_{2}, x_{3}) \\ (0, - 1, 1) \cdot (x_{1}, x_{2}, x_{3}) \end{matrix}] \end{matrix}

其实对这个式子我觉得有个更好的关于行的理解的方式是吉老师在Lecture02中的理解

因为A矩阵作用在了x的左边，"左行右列", A矩阵的第一行(1 0 0)是说取x矩阵的第一行1倍，第二行0倍，第三行0倍；同样的A矩阵的第二行是说取这个矩阵的第一行-1倍，第二行1倍，第三行0倍，实际上本质上还是点乘的这个运算

当然这里书里给了一个小tips是说一个好的方法是x矩阵是真实的数字计算的时候，A按行看；用字母表示的时候，A当做列向量

矩阵乘法的理解4: 逆

在矩阵乘法的理解2中提到了，这像是一种函数的效果，A作用与x，对x作用，A像是一个对应法则那样；那么有的函数事实上是有反函数的，那么是否从在另一个矩阵 $A^{- 1}$ 能够对b矩阵做逆操作把b矩阵变回x矩阵呢，即 $A^{- 1} b = x$

其实这个问题的答案跟函数与反函数的关系是一样的，有的矩阵有逆矩阵，有的矩阵就没有逆矩阵

像2式子中的例子，如果我们求一下

\begin{array}{r} b_{1} = x_{1} \\ b_{2} = - x_{1} + x_{2} \\ b_{3} = - x_{2} + x_{3} \end{array}

\begin{array}{r} x_{1} = b_{1} \\ x_{2} = b_{1} + b_{2} \\ x_{3} = b_{1} + b_{2} + b_{3} \end{array}

其实前面也提到了A矩阵的效果相当于差分，这里 $A^{- 1}$ 的效果就是把b加起来的一个效果

eg. b是1,3,5 那么x就是之前例子的(1,4,9)

当然也并不是所有的矩阵都可逆，在这个例子中，如果b为(0,0,0), 那么x也为(0,0,0); 但并不是所有方程 $A x = b$ 来说，b为(0,0,0)的时候x的解是唯一的，后面会看到不可逆的例子

那在这个例子中

A^{- 1} = [\begin{matrix} 1 & 0 & 0 \\ 1 & 1 & 0 \\ 1 & 1 & 1 \end{matrix}]

与积分和微分的联系

不知道为什么就扯到积分和微分了但这里的基本思想是这样的

对于前面的例子x=(1,4,9)，在这里我们把x看作是t的函数，也就是说 $x = t^{2}$ , 当t=1,2,3时，x=1,4,9

事实上x对t的微分是2t, 但其实这里的我们矩阵A作用于x算出来b为(1,3,5)的是2t-1. 这里其实这个差分是反向差分

但其实对于反向差分， $x (t) - x (t - 1) = t^{2} - (t - 1)^{2} = 2 t - 1$ 是正确的而且还有个前向差分得到的是2t+1. 而我们的微分事实上是一种中心差分

也就是说对于我们这个例子的A这种反向差分事实上积分公式中的 $Δ x$ 其实是1，而微分中的 $Δ x$ 事实上是2

\frac{(t + 1)^{2} - (t - 1)^{2}}{2} = 2 t (刚 好)

后面其实还提到了一个循环差分的例子，而循环差分的例子就是一个不可逆的矩阵

u = [\begin{matrix} 1 \\ - 1 \\ 0 \end{matrix}], v = [\begin{matrix} 0 \\ 1 \\ - 1 \end{matrix}], w^{*} = [\begin{matrix} - 1 \\ 0 \\ 1 \end{matrix}]

C x = [\begin{matrix} 1 & 0 & - 1 \\ - 1 & 1 & 0 \\ 0 & - 1 & 1 \end{matrix}] [\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \end{matrix}] = [\begin{matrix} x_{1} - x_{3} \\ x_{2} - x_{1} \\ x_{3} - x_{2} \end{matrix}]

在这个例子中，对于Cx=0有无限多的x的组合 -- 这就是不可逆的

更大的可能是如果b=(1,3,5) 完全无解！

矩阵乘法的理解5: 空间

从几何的观点来看，其实前面提到过线性组合如果合适的话就会张成整个空间，而在上面不可逆的例子中出现了无唯一解的情况是因为 $w^{*}$ 落在了u和v张成的平面内，换句话说， $w^{*}$ 可以被u和v线性表示出来，而不是提高了一个更高的维度的支撑，这样就降维度了（在三维中就是 $w^{*}$ 落在了u和v表示的平面中，而没形成z轴的那种感觉），也就是说 $w^{*}$ 是多余的一组向量，而这种情况叫做线性无关

同样的，还有线性相关

其实后面（因为我学过同济版本的线性代数），消元消着消着变成了全为0，包括后面的秩等等本质上还是说的这个事儿